Chapter 10 —— Covariance-Stationary Vector Processes
从这一章开始我们将正式介绍向量时间序列(vector time series),Chapter 10 将聚焦于多变量动力系统理论,Chapter 11 将着重说明向量回归的估计和解释问题。
10.1 Introduction to Vector Autoregressions
这一节把我们把标量自回归推广到向量情形,构建 的基本形式,并讨论协方差平稳条件下的均值表达。
在 Chapter 3 中我们知道标量时间序列 的 形式为:
其中
向量时间序列 (维度 )的 是 [10.1.1]-[10.1.3] 的向量化:
其中 为 常数向量, 为 系数矩阵,。误差向量 的均值与协方差为
其中 为对称正定的 矩阵。
记 为 的第 个元素, 为矩阵 的第 行第 列元素,则 [10.1.4] 的第 1 行为
含义:每个变量都回归于常数、自身的 个滞后以及其他变量的 个滞后,各回归的解释变量集合相同。
用滞后算子 表示,可将 [10.1.4] 写为
或
其中 是 的滞后多项式矩阵,其第 行第 列为
为 Kronecker δ: 时为 1,否则为 0。
若过程协方差平稳,即 与 不随 变,则对 [10.1.4] 取期望得到均值
将 [10.1.4] 改写为“偏离均值”的形式得到
Rewriting a as a
与标量 过程类似,将 [10.1.8] 改写为 形式有助于分析。为此,定义
则 [10.1.8] 中的 可改写为以下 形式:
其中
Conditions for Stationarity
由 [10.1.11] 可得
为使过程协方差平稳,任何给定 的影响必须最终消失。若矩阵 的所有特征值都位于单位圆内,则 是协方差平稳的。
下面的结果推广了 Chapter 1 中的命题 1.1。
Important
命题 10.1 : [10.1.10] 中矩阵 的特征值满足
因此,只要满足 [10.1.13] 的所有 值都有 ,则 是协方差平稳的。等价地,若满足
的所有 值都位于单位圆外,则 是协方差平稳的。
证明: 证明与命题 1.1 是类似的,只需要考察 即可,不再赘述。
Vector Representation
[10.1.12] 中向量系统的前 行构成了 [4.2.20] 的向量推广:
这里 ,其中 表示 的左上块, 是矩阵 的 次幂。具体地, 矩阵 表示 矩阵 的第 1 到 行和第 1 到 列。类似地, 表示 的第 1 到 行和第 到 列组成的块,而 表示 的第 1 到 行和第 到 列。
若 的所有特征值都位于单位圆内,则当 时 , 可表示为 历史的收敛和:
这是向量 表示。
注意到 是 的线性函数,而其中每一个都与 不相关()。因此, 与任何 的 都不相关。于是,基于 对 的线性预测为
可解释为 的基本新息(fundamental innovation),即基于常数和 ,... 的线性函数预测 的误差。更一般地,由 [10.1.14] 可知,基于 ,... 对 的预测形式为
移动平均矩阵 也可通过以下方式计算。算子 和 的关系为
这要求
将 的系数设为零矩阵,得到
类似地,将 的系数设为零得到
一般地,对于 有
其中 , 时 。
注意到 表示 [10.1.15] 中的新息是 ,即 的基本新息。存在基于 以外的向量白噪声过程的替代移动平均表示。设 为非奇异 矩阵,定义
则 当然是白噪声。此外,由 [10.1.15] 可写
其中
例如, 可以是任何对角化 的方差-协方差矩阵 的矩阵:
其中 为对角矩阵。对于这样的 选择, 的元素彼此不相关:
因此,总可以将平稳 过程写为元素互不相关的白噪声向量 的收敛无穷移动平均。
然而, 表示 [10.1.15] 和 [10.1.21] 之间存在一个重要区别。在 [10.1.15] 中,领先的 参数矩阵 是单位矩阵,而在 [10.1.21] 中,领先的 参数矩阵 不是单位矩阵。要获得基本新息的 表示,必须施加归一化 。
Assumptions Implicit in a VAR
对于协方差平稳过程,[10.1.4] 中的参数 和 可定义为 在常数和 上的投影系数。因此,根据 的定义, 与 不相关。因此,向量自回归的参数可以通过 个形如 [10.1.7] 的 OLS 回归一致估计。 中隐含的额外假设是,由该投影定义的 进一步与 不相关。假设 遵循向量自回归,本质上就是假设 个滞后足以概括 各元素之间的所有动态相关性。
10.2 Autocovariances and Convergence Results for Vector Processes
The th Autocovariance Matrix
对于协方差平稳的 维向量过程,第 个自协方差定义为以下 矩阵:
注意,虽然对于标量过程有 ,但对于向量过程这并不成立:
例如, 的 元素给出 与 之间的协方差,而 的 元素给出 与 之间的协方差。这两者没有理由相关—— 对 先前变动的响应可能与 对 先前变动的响应完全不同。
正确的关系是
为推导 [10.2.2],注意到协方差平稳性意味着 [10.2.1] 中的 可替换为 :
取转置得到
如所声称的。
Vector Process
阶向量移动平均过程的形式为
其中 是满足 [10.1.5] 和 [10.1.6] 的向量白噪声过程, 表示 的 系数矩阵。 的均值为 ,方差为
自协方差为
其中 。因此,任何向量 过程都是协方差平稳的。
Vector Process
向量 过程写为
其中 也满足 [10.1.5] 和 [10.1.6]。
标量序列 被称为绝对可和的,如果 。对于 矩阵 ,矩阵序列 是绝对可和的,如果其每个元素都形成绝对可和的标量序列。例如,如果 表示与滞后 相关的移动平均参数矩阵 的第 行第 列元素,则序列 是绝对可和的,如果
许多具有绝对可和系数的标量 过程的结果对向量过程也成立,因此我们有下面的命题。
Important
命题 10.2 : 设 是满足
的 向量,其中 是满足 [10.1.5] 和 [10.1.6] 的向量白噪声, 是绝对可和的。设 表示 的第 个元素, 表示 的第 个元素。则
(a) 第 个变量在时刻 与第 个变量在 期之前的自协方差 存在,并由
的第 行第 列元素给出;
(b) 矩阵序列 是绝对可和的。
如果进一步, 是 i.i.d. 序列,且对 , 有 ,则还有
(c) 对 和所有 , 有 ;
(d) 对 和所有 有 。
证明:
定义 为 中反映 的第 个元素累积效应的分量:
其中 表示矩阵 的第 行第 列元素。第 个变量 的实际值是 的 个分量各自贡献的和:
命题 10.2 的所有结果都通过首先证明 的矩的绝对可和性,然后观察到 的矩是从基于 的这些表达式的有限和得到的。
证明 (a): 考虑随机变量 ,其中 和 表示 1 到 之间的任意指标, 是正在计算的 的自协方差的阶。由 [10.A.4] 注意到
上式成立是因为(即期望与求和可交换)
现在,[10.A.6] 中最后一项的 的乘积只有在 具有相同日期时才能有非零期望,即如果 。因此,尽管 [10.A.6] 涉及对 的无限多个值的求和,但只有 处的值对这个和有贡献:
其中 表示 和 之间的协方差,由 的第 行第 列元素给出。
的第 行第 列元素给出
使用 [10.A.5] 和 [10.A.7],这可以表示为
但 是 的第 行第 列元素。因此,[10.A.8] 说明 的第 行第 列元素由 的第 行第 列元素给出,如 (a) 部分所声称的。
证明 (b): 定义 为 [10.A.7] 中的矩:
并注意到序列 是绝对可和的:
此外, 的第 行第 列元素在 [10.A.8] 中被看到由
给出。因此,
由 [10.A.9],存在 使得
对任何 或 的值。因此,[10.A.10] 意味着
确认了 的第 行第 列元素是绝对可和的,如 (b) 部分所声称的。
证明 (c): 本质上与命题 7.10 的证明相同的代数运算建立了
现在,
但这是涉及 [10.A.11] 形式项的有限和以及涉及 的一到三阶矩的项,这些也必须有限。
证明 (d): 注意到
导致 [7.2.14] 的相同论证可用于建立
要看到 [10.A.12] 意味着 的二阶矩的遍历性,由 [10.A.5] 注意到
如所声称的。证毕。
结果 (a) 意味着具有绝对可和系数的 向量过程的二阶矩可以通过取 [10.2.5] 在 时的极限得到。结果 (b) 是这些矩的收敛条件,将确保向量过程对均值是遍历的。结果 (c) 说明 有有界四阶矩,而结果 (d) 建立了 对二阶矩是遍历的。
注意到从 [10.1.4] 计算的平稳向量自回归的向量 表示满足绝对可和条件。要看到这一点,回忆 [10.1.14] 中 是矩阵 的一个块。如果 有 个不同的特征值 ,则 的任何元素都可以写为这些特征值的加权平均,如 [1.2.20]:
其中 表示依赖于 和 但不依赖于 的常数。
Multivariate Filters
假设 向量 遵循 过程:
其中 绝对可和。设 是绝对可和的 矩阵序列,并假设 向量 与 的关系为
即
其中 , 是由
给出的复合算子。
下面的命题建立了 遵循绝对可和的双侧 过程。
Important
命题 10.3 : 设 是绝对可和的 矩阵序列, 是绝对可和的 矩阵序列。则与算子 相关的矩阵序列 是绝对可和的。
如果 [10.2.8] 中的 是 i.i.d. 的且具有有限四阶矩,则 [10.2.9] 中的 具有有限四阶矩且对二阶矩是遍历的。
证明:
将 [10.2.11] 明确写出:
由此 的系数为
设 表示 的第 行第 列元素, 和 分别表示 和 的第 行第 列元素。则矩阵方程 [10.A.13] 的第 行第 列元素表明
因此,
但由于 和 是绝对可和的,存在有限常数 和 使得
因此,[10.A.14] 变为
这确认了 是绝对可和的。
如果 [10.2.8] 中的 是 i.i.d. 的且具有有限四阶矩,则 [10.2.9] 中的 具有有限四阶矩且对二阶矩是遍历的,这由命题 10.2 的结果 (c) 和 (d) 直接得出。证毕。
Vector Autoregression
接下来我们推导遵循 的 的二阶矩表达式。设 如 [10.1.9] 所定义。假设 和 是协方差平稳的,设 表示 的方差:
其中 表示原始过程 的第 个自协方差。将 [10.1.11] 右乘其转置并取期望得到
或
[10.2.13] 的闭式解可以通过 vec 算子(按列展开)得到。如果 是 矩阵,则 是 列向量,通过将 的列从左到右依次堆叠得到。例如,如果
则
Important
命题 10.4 : 设 和 是维度使得乘积 ABC 存在的矩阵,则
其中符号 表示 Kronecker 积,也称张量积,并且有
证明:
设 为 矩阵, 为 矩阵, 为 矩阵。设 向量 表示 的第 列, 表示 的第 行第 列元素。则
应用 vec 算子得到
证毕。
上命题的一个很重要的应用是把矩阵方程变为线性方程组,例如 可以转化为
因此,如果将 vec 算子应用于 [10.2.13] 的两边,结果是
其中
设 ,则 是 矩阵, 是 矩阵。[10.2.16] 的解为
前提是矩阵 非奇异。只要 1 不是 的特征值,这就是真的。但我们知道 的特征值都是 的形式,其中 和 是 的特征值。由于对所有 有 ,因此 的所有特征值都在单位圆内,这意味着 确实是非奇异的。
过程的前 个自协方差矩阵可以通过将 [10.2.12] 代入 [10.2.18] 计算:
的第 个自协方差(记为 )可以通过将 [10.1.11] 右乘 并取期望得到:
因此,
原始过程 的第 个自协方差 由 [10.2.20] 的前 行和前 列给出。由 [10.2.20],我们有 。注意到 的结构为
而 的结构为 [10.1.10]。将 展开,其左上角 块(即 )为
因此得到递推关系
这个递推关系也可以直接从 [10.1.8] 推导。将 [10.1.8] 右乘 并取期望,利用 与 ()不相关,即可得到相同的结果。
10.3 The Autocovariance-Generating Function for Vector Processes
Definition of Autocovariance-Generating Function for Vector Processes
回忆一下,对于具有绝对可和自协方差的协方差平稳单变量过程 ,标量值的自协方差生成函数 定义为
其中
为复标量。对于具有绝对可和自协方差矩阵序列的协方差平稳向量过程 ,类似的矩阵值自协方差生成函数 定义为
其中
同样是复标量。
Autocovariance-Generating Function for a Vector Moving Average Process
例如,对于由式 [10.1.5] 和式 [10.1.6] 刻画的向量白噪声过程 ,其自协方差生成函数为
对于式 [10.2.3] 的向量 过程,单变量情形下式 [3.6.3] 的自协方差生成函数推广为
这可以通过注意到式 [10.3.3] 中 的系数等于式 [10.2.5] 给出的 来验证。
对于形如
的 过程,其中 绝对可和,式 [10.3.3] 推广为
Autocovariance-Generating Function for a Vector Autoregression
考虑 过程 ,其中 的特征值位于单位圆内, 为 向量,。式 [10.3.4] 意味着自协方差生成函数可以表示为
两个互不相关的单变量过程之和的自协方差生成函数等于它们各自的自协方差生成函数之和(式 [4.7.19])。这一结果可以很容易地推广到向量情形:
另外注意到,如果 向量 左乘非随机 矩阵 ,效果是自协方差左乘 并右乘 :
这意味着
综合这些结果,考虑 维 过程 以及由 给出的新过程 ,其中 是与所有 的 都不相关的白噪声过程。则
或者,如果 是 的方差,则
更一般地,考虑由
刻画的 向量 ,其中 是方差-协方差矩阵为 的白噪声过程,, 绝对可和。因此, 的自协方差生成函数为
设 是绝对可和的 矩阵序列,假设 向量 由 按照
构造,其中 ,,如式 [10.2.10] 和式 [10.2.11] 所示。则 的自协方差生成函数可以从下式得到:
比较式 [10.3.8] 与式 [10.3.7],对 应用滤波器 的效果是自协方差生成函数左乘 并右乘 :
10.4 The Spectrum for Vector Processes
Definition of the Population Spectrum for Vector Processes
设 为 向量,均值为 ,第 个自协方差矩阵为
如果 绝对可和,且 为复标量,则 的自协方差生成函数为
函数 将 复数矩阵与复标量 关联起来。如果将式 [10.4.2] 除以 并在 处求值,其中 为实标量,,则结果是向量 的总体谱(population spectrum):
总体谱将 复数矩阵与实标量 关联起来。
与建立命题 6.1 时使用的相同计算表明,当 的任意元素乘以 并将得到的 的函数从 到 积分时,结果是 的第 个自协方差矩阵的对应元素:
利用公式证明即可 因此,与单变量情形一样,自协方差序列 和由总体谱 表示的函数包含相同的信息。
作为特殊情况,当 时,式 [10.4.4] 意味着
换句话说,总体谱下的面积是 的无条件方差-协方差矩阵。
的第 个对角元素是 ,即 的第 个自协方差。因此,多元谱 的第 个对角元素就是标量 的单变量谱。根据 Chapter 6 中讨论的单变量谱的性质, 的对角元素对所有 都是实值且非负的。然而, 的非对角元素并非如此——一般来说, 的非对角元素将是复数。
为了进一步理解多元谱,我们专注于 变量的情形,记为
则第 个自协方差矩阵为
回忆式 [10.2.2],。因此,
对于这个 的情形,总体谱 [10.4.3] 为
利用式 [10.4.7] 和式 [10.4.8] 以及 和 的事实,虚部从对角项中消失:
然而,由于一般来说 ,非对角(off-diagonal)元素通常是复数。
The Cross Spectrum, Cospectrum, and Quadrature Spectrum
式 [10.4.11] 中矩阵的左下 元素称为从 到 的总体交叉谱(population cross spectrum):
交叉谱可以写成其实部和虚部的形式:
交叉谱的实部称为 和 之间的协谱(cospectrum):
可以从式 [10.4.9] 以及 的事实验证
交叉谱的虚部称为从 到 的正交谱(quadrature spectrum):
可以从式 [10.4.9] 以及 的事实验证,从 到 的正交谱是从 到 的正交谱的负值:
回忆式 [10.4.13],这些结果意味着 的非对角元素互为复共轭;一般来说, 的第 行第 列元素是第 行第 列元素的复共轭。
注意到 和 都是 的实值周期函数:
进一步,由式 [10.4.14] 可得
而式 [10.4.16] 意味着
因此,协谱和正交谱在 在 0 到 之间的值完全确定了它们。
结果 [10.4.5] 意味着交叉谱的积分等于 和 之间的无条件协方差:
从式 [10.4.17] 观察到,正交谱的积分为零:
因此, 和 之间的协方差可以从 和 之间的协谱下的面积计算:
因此,频率 处 和 之间的协谱可以解释为 和 之间的协方差中归因于频率为 的周期的部分。由于协方差可以为正或负,协谱也可以为正或负,实际上, 在某些频率上可能为正,在其他频率上可能为负。
综上,通过总体谱我们可以计算自协方差,而通过交叉谱(进一步可以说是协谱)我们可以计算协方差。
The Sample Multivariate Periodogram
为了进一步理解协谱和正交谱,设 和 表示两个变量的 个观测值的样本。先假设 为奇数,命题 6.2 表明 的值可以表示为
其中 是 的样本均值,,,且
的类似表示为
其中
回忆式 [6.2.11],式 [10.4.19] 中的周期回归变量都具有样本均值零且相互正交,同时
考虑 和 之间的样本协方差:
将式 [10.4.19] 和式 [10.4.22] 代入式 [10.4.26] 并利用周期回归变量的相互正交性,可得
上式等号的成立利用了离散傅里叶正交基的正交性,详细可以参考补充材料。
因此, 和 之间的样本协方差中归因于它们对频率 的周期的共同依赖的部分由下式给出:
这个量可以通过与建立命题 6.2 的结果 (c) 时使用的类似计算与协谱的样本类似量联系起来。回忆由于
式 [10.4.20] 中的量 可以替代地表示为
因此,
其中 是 的值与 在 期之前的值之间的样本协方差:
结果 [10.4.29] 意味着
其中 是频率 处从 到 的样本交叉周期图,或样本多元周期图的左下元素:
式 [10.4.31] 表明频率 处从 到 的样本交叉周期图可以表示为
实部是协谱的样本类似量,而虚部是正交谱的样本类似量:
其中
比较式 [10.4.34] 与式 [10.4.28],在 处求值的样本协谱与 和 之间的样本协方差中归因于频率 的周期的部分成比例。总体协谱允许类似的解释,即基于多元版本的谱表示定理, 和 之间的总体协方差中归因于频率 的周期的部分。
那么我们应该如何解释正交谱呢?
考虑使用式 [10.4.22] 中的权重通过将每个周期函数的相位移动四分之一周期来构造新序列 :
变量 由与 相同的周期驱动,除了在日期 时,每个周期已经完成了四分之一,而不是像 的情况那样刚刚开始。
由于 且 ,变量 可以替代地描述为
与式 [10.4.27] 类似, 和 之间的样本协方差为
将此与式 [10.4.35] 比较,频率 处从 到 的样本正交谱与 和 之间的样本协方差中归因于频率 的周期的部分成比例。频率 的周期可能对 和 各自都很重要(如 和 的大值所反映的),但由于在任何给定日期两个序列处于周期的不同相位,因此未能产生变量之间的太多同期协方差。例如,变量 可能比 更早响应经济衰退。正交谱可以提供寻找这种不同相位周期的证据。
Coherence, Phase, and Gain
和 之间的总体相干性(population coherence)是衡量 和 在多大程度上共同受到频率 的周期影响的度量。该度量结合了协谱和正交谱的推断,定义为
假设 和 非零。如果 或 为零,则相干性定义为零。可以证明,只要 和 是协方差平稳的且具有绝对可和的自协方差矩阵,对所有 有 。如果 很大,这表明 和 具有频率 的重要共同周期。
协谱和正交谱可以替代地用极坐标形式描述。在这种记法中,从 到 的总体交叉谱写为
其中
表示满足上述关系的弧度角。函数 有时被称为增益(gain),而 被称为相位(phase)。
The Population Spectrum for Vector and Processes
设 为具有绝对可和移动平均系数的向量 过程:
其中
将式 [10.3.4] 代入式 [10.4.3] 表明 的总体谱可以计算为
例如,如式 [10.1.4] 所写的平稳 的总体谱为
Estimating the Population Spectrum
如果观测到的时间序列 可以合理地用 阶向量自回归描述,估计总体谱的一个好方法是通过 OLS 估计向量自回归 [10.1.4] 的参数,然后将这些参数估计值代入式 [10.4.41]。
或者,频率 处从 到 的样本交叉周期图可以从式 [10.4.32] 到式 [10.4.35] 计算,其中 和 如式 [10.4.20] 到式 [10.4.24] 所定义。人们希望对这些进行平滑以获得总体交叉谱的更有用的估计。例如,频率 处 和 之间的总体协谱的一个合理估计为
其中 表示在频率 处求值的式 [10.4.34] 中的估计, 是带宽参数,反映在估计频率 处的协谱时要使用多少个不同频率。
Chapter 6 的公式 [6.3.5] 阐述了这个核函数的意义。
另一种方法是用权重系数 表示平滑,当表达式 [10.4.3] 中的总体自协方差被样本自协方差替换时,这些系数应用于 。这样的估计将采用以下形式:
其中
例如,多元谱的修正 Bartlett 估计为
Filters
设 为具有绝对可和自协方差的 维协方差平稳过程, 总体谱记为 。设 为绝对可和的 矩阵序列,设 表示由下式给出的 维向量过程:
由式 [10.3.9] 可得, 的总体谱(记为 )与 的总体谱的关系为
作为这个结果的特例,设 为具有连续谱 的单变量平稳随机过程,设 为具有连续谱 的第二个单变量平稳随机过程,其中 和 对所有 和 都不相关。因此,向量 的总体谱由下式给出:
根据下式定义新序列 :
其中 绝对可和。注意到向量 通过滤波器从原始向量 获得:
其中
由式 [10.4.43] 可得, 的谱由下式给出:
其中
式 [10.4.45] 中矩阵的左下元素表明,当 和 按照式 [10.4.44] 相关时,从 到 的交叉谱可以通过将式 [10.4.46] 乘以 的谱来计算。
我们也可以想象以相反的顺序进行这些步骤。具体来说,假设给定观测向量 ,其具有绝对可和的自协方差矩阵,总体谱由下式给出:
则 在 上的线性投影存在,且具有式 [10.4.44] 的形式,其中 现在被视为与线性投影相关的总体残差。线性投影系数序列 可以用式 [10.4.46] 中给出的 的函数来概括。比较式 [10.4.47] 和式 [10.4.45] 的左下元素,该函数必须满足
换句话说,函数 可以从下式计算:
假设 不为零。当 时,我们设 。这个量,即从 到 的交叉谱与 的谱的比值,被称为从 到 的传递函数(transfer function)。
式 [10.4.4] 的基本原理可以进一步用于揭示各个传递函数系数:
式 [10.4.46] 将传递函数展开为傅里叶级数:
对等式两边同时乘以 并在 上积分:
利用复指数函数的正交性:
当当
因此有 从而可以得到 将 替换为 即得上述公式。
换句话说,给定具有绝对可和自协方差矩阵的观测向量 ,因此具有式 [10.4.47] 形式的连续总体谱, 在 上的总体线性投影中 的系数可以从下式计算:
10.5 The Sample Mean of a Vector Process
Variance of the Sample Mean
假设我们有大小为 的样本 ,其来自具有以下性质的 维协方差平稳过程:
考虑样本均值的性质:
与 7.2 节中讨论标量过程的样本均值一样,显然 ,且
因此,
与单变量情形一样,对于小的 , 上的权重随着 趋于 1,对于协方差平稳过程,更高的自协方差趋于零。因此,我们有命题 7.5 的以下推广。
Important
命题 10.5 : 设 为协方差平稳过程,矩由式 [10.5.1] 和式 [10.5.2] 给出,且具有绝对可和的自协方差。则样本均值 [10.5.3] 满足
(a)
(b) .
证明: 命题 10.5 的证明与命题 7.5 的证明几乎相同。考虑以下 矩阵:
其中等式由式 [10.5.5] 得出。设 表示 的第 行第 列元素。则式 [10.5.6] 中矩阵的第 行第 列元素可以写成
的绝对可和性意味着对于任何 ,存在 使得
因此,
通过选择足够大的 ,这个和可以小于 。这建立了命题 10.5 的 (b) 部分。从这个结果,对每个 有 ,这意味着 。证毕。